Ajuste fino federado consciente de conflictos en LLMs con MoE
Aprende cómo el marco FC-MoE resuelve conflictos en el ajuste fino federado de modelos de lenguaje grandes con mezcla de expertos, mejorando convergencia y
#heterogeneidad de datos
Ajuste fino federado consciente de conflictos para LLMs con MoE
Descubre cómo FC-MoE optimiza el ajuste fino federado de LLMs con mezcla de expertos, resolviendo conflictos entre clientes para acelerar la convergencia y
SILAGE: Optimización No Convexa Eficiente en Memoria para Sumas Finitas Anidadas
Descubre SILAGE, algoritmo que elimina los gradientes completos usando solo O(n) memoria. Se adapta a la heterogeneidad de datos. Ideal para grandes datos.
Photon: Entrenamiento previo federado de LLM
Photon: sistema federado para preentrenar LLM de hasta 7B. 35% más rápido, 512x menos ancho de banda. ¡Entrena modelos grandes sin data centers!
De la heterogeneidad de datos a la convergencia: revisión centrada en datos del aprendizaje federado
Descubre cómo la heterogeneidad de datos afecta la convergencia en aprendizaje federado. Revisión centrada en datos con soluciones prácticas.
Algoritmo EM descentralizado con datos heterogéneos y etiquetado parcial
El algoritmo MNEM elimina el sesgo en mezclas gaussianas con datos heterogéneos y etiquetado parcial. Ideal para aprendizaje federado descentralizado.